胤祥的生母章佳氏，在康熙帝后妃中并没有显赫的地位，她出身一般，是满洲镶黄旗参领海宽的女儿。而且她享寿也不长，康熙三十八年(1699年)去世，身后留下了14岁的胤祥、13岁的皇十三女和9岁的皇十五女。

　　胤祥在康熙帝的三十六个儿子中，排行十三，幼年丧母之后，胤祥便由胤禛的生母乌雅氏抚养，胤禛比胤祥大八岁，可能是命运的安排，胤祥一生和他的四哥最为亲善，并影响了他的一生。

　　胤禛是乌雅氏的第一个儿子，不过这个儿子并不是自己亲手抚养的，而是给了孝懿仁皇后抚养。皇后只生过一个女儿，不幸早夭，故而将胤禛抱去抚养以填补无子之痛。乌雅氏虽然舍不得儿子，但皇后能看上自己的儿子，这也是天大的面子，家世平凡的乌雅氏，又有什么可以抱怨的呢。

　　胤禛作为哥哥，自然承担了教育弟弟胤祥的任务。由于康熙早年已经确立了太子，名分已定，其他皇子自然没有非分之想。胤禛将主要的时间花在读书上，对这个小自己八岁的弟弟，自然也花了更多的时间照顾。成年后，胤祥还时常回忆起皇兄教自己数学的经历。

　　幼时的胤祥，虎头虎脑，一幅淳朴的形象，备受康熙喜爱。对于皇父，胤祥也是无与伦比的崇拜。一次康熙帝与诸子在宫内游玩，年幼的胤祥也跟着同游。康熙与众皇兄走过之后，胤祥未能跟上，一个人被落在后面。

　　呆萌的胤祥，突然做出了惊人之举，他趴在地上，像条宠物狗一样“寻履迹伏地嗅之”，想以此追踪父皇的踪迹。

　　在康熙的心目中，胤祥总是很体贴，也很听话，时刻都能想父皇所想，认为他“生秉粹质，至性过人”，对他也格外宠爱。

　　康熙三十七年，十三岁的胤祥第一次跟随父亲去盛京，拜谒远在辽东的大清先祖们的陵寝。此后无论是巡游江南，秋围塞外，视察河工，康熙总是将胤祥带着身边。

　　康熙一生共有六次南巡，胤祥陪同了四次。康熙四十二年，胤祥跟随父皇南巡。由于胤祥书法不错，康熙特命胤禛与胤祥一起书写对联，在群臣的注目下，胤祥一气呵成，文墨工敏，群臣无不称赞。

　　然而，胤祥的命运和性格，在康熙四十七年皇太子胤礽被废之后，发生了翻天覆地的改变。

　　苏州人何焯，早年落魄，在苏州靠教授私塾为生，后来经过李光地的推荐，以草泽遗才而入南书房，并奉旨在八阿哥胤禩府中担任老师。

　　何焯在给友人的信中提到：“十三殿下乃康熙帝所钟爱也”。这还不够，有着一颗非凡八卦之心的何焯，在给他弟弟的信中，又生动地描述了杨国维被选中陪皇十三子读书，而康熙一直认为杨国维诗文无人能出其右，现在让他陪伴十三殿下，“将来遭遇不可知也”。

　　何焯是八阿哥胤禩的老师，而胤禩又是皇位继承人最有力的竞争者，连何焯都如此看，一时间，十三阿哥要成为太子的风声，传的沸沸扬扬。

　　如此一来对胤祥很不利，形势急转而下，胤祥被冷落了。对胤祥的冷落，表现在方方面面，以前康熙出行，身边总少不了胤祥，此后不管去何处，再也不见胤祥的踪影。